#State Tracking

4 篇

Complex KDA: Understanding and Enhancing the Expressivity of Kimi Delta Attention

Complex KDA：理解并增强 Kimi Delta Attention 的表达能力

🧭 线性 RNN 表达能力增强

University of Freiburg · Microsoft Research · University of Tübingen · MPI-IS Tübingen · EPFL

通过扩展门控与 delta 系数范围，提出 CKDA，在不增加秩或成本下实现 2D 旋转并达到 DeltaProduct2 的表达能力

📌 工作参考价值（4 点）

对需要轻量序列建模的电商/广告场景（如用户行为序列、点击流预测），CKDA 提供了一种保持状态非膨胀的对角加秩一线性 RNN，计算开销低，可作为长序列用户建模的候选架构。
参数范围扩展（门控 [-1,1]，beta [0,2]）简单且不增加推理成本，可以尝试在已有 KDA 或 delta-rule 模块中直接调整范围，观察对长尾序列或周期行为（如促销周期）的建模提升。
文中证明 CKDA 可跟踪 SO(3) 子群，表明其具备更强的状态跟踪能力，适合需要精确维护内部状态的 Agent 或对话系统，可能减少层数或状态维度需求。
注意：论文核心是基础架构创新，业务直接迁移价值有限，主要在需要高效长上下文处理且对表达能力有要求的场景（如用户长期兴趣演化）可考虑替换 Transformer 层或作为轻量 backbone。

LLM | 2026-09-21 | cs.LG | score 7/10

让 LLM 在会议中拥有情境意识并替参与者发言

🧭 LLM Agent 在多方对话中的发言时机决策

University of Göttingen, Germany

提出 CAPA 架构，通过显式会议状态预测与校准，将缺席者发言沉默率从 51.4% 降至 2.5%

📌 工作参考价值（4 点）

在需要 LLM 实时判断“是否介入”的场景（客服对话、直播场控、主动推荐弹窗）中，显式维护结构化状态（立场、覆盖、发言权）比只堆原始上下文更能消除漏判；可借鉴 Perceiver 将历史对话压缩成可更新的状态表示。
将决策链拆成 Predictor→Controller→Generator，先预测下一 turn，再决定是否说话、说什么、怎么说；这种解耦便于在业务中单独调优“时机判断”和“内容生成”，也便于归因定位残差。
用真实下一 turn 对预测和动作做在线校准，形成 Recalibrator 闭环；在推荐或对话 Agent 中可引入类似机制，让系统根据后续用户反馈实时修正决策状态，而非静态离线训练。
评估协议值得复用：围绕实际语义单元（idea units）从 whether/when/what 三维打分，并用 schema 约束的 LLM judge 自动评估，Kappa=0.71 说明可替代部分人工标注；对生成式推荐/对话策略的离线评估尤其有用。

Agent | 2026-09-03 | cs.CL | score 7/10

时序自蒸馏：无监督学习视频视觉状态跟踪

🧭 自监督时序自蒸馏训练视频状态跟踪

Mohamed bin Zayed University of Artificial Intelligence · ELLIS Institute Finland · Aalto University

用时间采样密度作为自监督信号，让稀疏帧学生匹配稠密帧教师的 next-token 分布，无需标签或额外教师即可提升视频状态跟踪

📌 工作参考价值（4 点）

视频/直播电商场景：对商品展示、使用过程、库存/数量变化等短视频，用稠密帧采样的同模型输出蒸馏稀疏帧模型，可在不增加线上推理成本的前提下提升状态/数量判断；souping/轻量视觉编码器适配可作为后续增强手段。
无标签数据利用：可以低成本生成合成 clip（物体颜色、数量、位置变化），用 S3T 式的自监督时序蒸馏预训练视频理解模块，再迁移到真实 UGC/广告素材的内容审核或卖点提取。
Agent/多模态 LLM 训练：如果业务中有连续视频流（如智能客服/导购 Agent 看商品视频），将时间采样密度作为特权信息，让同一模型在自己的稠密/稀疏视图间做 next-token 分布蒸馏，不需要额外 judge，能提升跨时间状态跟踪，且不增加部署成本。
如果要改进现有 VLM 在电商视频问答上的表现，可优先考虑对视觉编码器做小规模适配+权重 soup，而非重新训练；论文显示这些组合能稳定提升状态跟踪。

Training | 2026-09-03 | cs.CV | score 6/10

STALE：大模型智能体何时知晓记忆已过时？

🧭 Agent ★ 深度解读

武汉大学 · 香港中文大学 · 香港科技大学

提出STALE基准评估LLM隐式记忆冲突，揭示检索与行动脱节，及写入侧状态裁决的有效性

Agent | 2026-05-06 | HF Daily | score 8/10